Gốc là họ Nguyễn Huy Phan_Huy_Cẩn

Bà Phan Thị Trừu (1694 - 1775) là người dòng họ Phan ở làng Thu Hoạch làm thiếp của ông Nguyễn Huy Tựu (1690 – 1750) (bố của thám hoa Nguyễn Huy Oánh) ở làng Trường Lưu. Sau khi bất đồng trong gia đình, trong lúc mang thai đã bỏ về chợ Cày (nay là Thị trấn Thạch Hà). Lúc sinh con bà cho con mang họ của mình và lấy tên đệm là Huy, tên là Cẩn. Từ đó hình thành dòng họ Phan Huy ở làng Thu Hoạch[cần dẫn nguồn].